大区分Ａ 中区分1：思想、芸術およびその関連分野　01070

研究代表者　吉岡俊直　80329870
所属研究機関　京都市立芸術大学　24301
部局　美術　703
職　教授　26
研究題目名　フォトグラメトリによる室内・環境の３次元情報取得法とVR利用の研究

研究分担者　村上史明　30512884　
研究機関　筑波大学　12102
部局　芸術系　773
職　助教　28
学位　博士（デザイン学）　研究分担者

研究目的概要
2018年〜2022年「フォトグラメトリーによる動的⼈体の３Dデータ取得と享受の研究」(課題番号18K00211)という研究を科学研究費の採択を受けて⾏なった。その研究には2つの⽬的があった。１、フォトグラメトリ技術を写真撮影の観点から再検証し、撮影された写真と⽣成される３次元情報の相関関係を明確にすること。２、取得された３次元情報を、いかに活⽤することができるか。対象物を⼈体に絞り、⼈体の動作を３次元的に鑑賞できるブラウザベースのシステム開発を⾏なった。本研究は、上記２点の研究結果を基盤にして発展させる。まず、対象物を⼈体から空間・環境へとシフトさせ、測量者を中⼼に放射状に広がる⽅向性で測量。フォトグラメトリ技術における測量能⼒、汎⽤性の向上を⽬指す。また、WEB上での鑑賞という２次元情報ではなく、VR技術を使った視差を伴う３次元情報の享受を研究する。先に空間・環境を測量することを⽣かし、⾝体的な体感を伴うVR空間の構築を⾏い、その新たな感覚に対する効果や活⽤法を考察する。

研究内容　本文
フォトグラメトリ技術の歴史は古い。多くは航空機から撮影した地上の写真を解析し、地図や等⾼線を制作する⽤途に使われてきた。しかし、昨今は、設計、製造、⼟⽊、建築、医療、⽂化財保存、エンターテイメントなど、その活⽤分野は広い。３次元情報を得る事で、シュミュレーション、形状変化の検証、形のアーカイブ、造形作業のベース、データから実体への展開、など、それらのプラットフォームとして利⽤されている。実体から３次元情報を取得する⽅法はフォトグラメトリ以外にも存在する。レーザーや光を使⽤した３Dスキャナーだ。それらの機器は⽤途によって測量できるスケールが特化されており、また、瞬時にスキャンすることが難しい。しかし、フォトグラメトリの場合は、写真を元に解析するため、対象物が建物であっても顕微鏡写真であっても３次元情報の取得が可能だ。測量に要する時間に関しては写真撮影のシャッタースピードがそのまま測量時間と考えられる。（1台のカメラで、対象物の周りを移動し測量する場合は除く）昨今、デジタル端末に搭載されつつあるLiDARレーザーによる３Dスキャンにおいても測量解像度の低さ、機器を移動させて測量する場合の取り回し制約など、本研究においては⾄らない部分がある。それに対し、フォトグラメトリは、測量可能なスケールが⾮常に広域な点。写真撮影という⾝近な⽅法で瞬時に捉えられる点。良質な素材さえ撮影できれば事後処理で⾼密度の３次元情報が得られる点。導⼊コストが抑えられる点などから、将来の更なる活⽤と普及の可能性を感じている。
フォトグラメトリの測量結果を向上させるために、アプリケーションの開発ではなく、原資である写真撮影の環境や設定の最適解。写真と３次元情報との相関関係を先⾏研究（＝前回、採択された科研費研究課題を指す）では検証した。その前提として、⼈体表現の造形的資料と位置付け、対象物を⼈体にしぼり研究を⾏なった。しかし、必ずしも中央に位置する⽴体物を、周りから囲む様に撮影できる測量対象だけではない。フォトグラメトリを、より汎⽤性の⾼い測量法に発展させるために、本研究では、室内空間や、測量者の置かれている環境など、野外も含め、これまで周りから対象物に向けられていた撮影の⽅向性を、周り、放射状に広がる外部へと移⾏させ、測量対象物への対応能⼒を向上させたい。まず、この研究が単なる、カメラの⽅向性の転換だけでないことに触れておく。フォトグラメトリは、異なる視点からの撮影による、各写真の相似点を⾒つけ出すことにより３次元情報を得る。つまり、撮影位置が変わらなければ、いくらカメラの向きを振っても、異なる「視点」とはならない。これまで、このような空間・環境をフォトグラメトリで測量する場合、デジタルカメラを持って、視点の⾼さを変え、上から⾒下ろす様に、下からあおる様にと、カメラの向きを変化させながら何周も部屋を回って撮影するのが⼀般的だった。情報の⽋損をなくす為には、できる限り死⾓をなくす必要がある。また、それが３Dレーザースキャナーであっても、レーザーの直進性ゆえ、部屋の複数箇所、⾼低差をつけて測量しなければ、同じく死⾓が⽣まれ、データ的な⽋損（測量できていない場所）が⽣じるのが実情だ。本研究では、前もって必要な位置、視点の数、向きなどを検証し、カメラを垂直⽅向に配置した独⾃の撮影装置を制作。それを持ち部屋を⼀周するだけで、３次元情報取得に必要な素材が揃うシステムが構築できるのではないか。という「問い」を検証したい。ソフトウエア開発ではなく、フォトグラメトリの原資といえる写真撮影に関した研究は、活⽤される情報の取得⽅法を研究するというメタ的な研究として、これからの３次元情報の基盤をなすと考えている。時間をかけ⽤意周到に準備されたスタジオでの囲み撮影に対して、室内や野外での撮影は時間的制約が多い。即興的に捉えられる撮影機材を開発することは、空間・環境の３次元情報取得を効率化させ、場所の記録、場所の分析、場所の再現、場所の再構築など、新たな活⽤法を加速させる起因になると考えている。コロナ禍、⾃宅での研究が数週間に渡り強いられた時、⾃室でのテレワークに空間的な窒息感を感じ始めていた。その時、VRゴーグル（HMD）を装着し、⼤⾃然、映画館サイズのスクリーンで映画鑑賞。⼈混みでのライブ鑑賞などを体験した。それは、家や⾃室のスケール感を拡張し、精神的な解放感をもたらしてくれた。今後も３次元情報は広く活⽤されると考えられるが、特に、場所や空間の３次元情報、他者と空間を共有する事の重要性は⾼まるであろうと実感した。そんな中、バーチャルな部屋をVRゴーグル内で体験した際、その中のCGでできた机、椅⼦、筆記⽤具と、実際の机、椅⼦、筆記⽤具の位置、⼤きさ、⾼さ等を合わせてみた。そうすると、これまでCGだと認識していた幻に、座り⼼地、触り⼼地、肘をついたり、持ったり、体重を預ける事ができるようになった。⾝体的な感覚、感触、重さを感じることで、圧倒的に現実感が増し、現実世界のようにVR内の世界を感じることができた。モデリングされた閉ざされた擬似世界ではなく、現実世界をフォトグラメトリで計測し、VRゴーグル内に持ち込み、位置や⼤きさをリンクさせることで、⾝体的な体験を伴うVR体験ができるのではないかと考えた。それを「タンジブルVR」と呼ぶこととする。（タンジブル＝Tangible 実体がある様。触れられる。触知できる。）本研究も、先⾏研究同様に、３次元情報の享受について研究を進めてゆく。３次元情報を実際の⽴体として閲覧するためには、モニター上の擬似的な⽴体感ではなく、両⽬の視差を伴う閲覧の⽅が、真に⽴体構造や空間を把握できる事は認識していた。現在、VRゴーグルは、PCやスマートフォンのように⼗分普及したデジタルデバイスとは⾔い難い、ただ、今後の⼀般化、性能向上、低価格化は⼗分に期待できる。現在、フォトグラメトリで⽣成した３次元情報をVRゴーグルに持ち込み閲覧することは実現できている。これまでのWEB閲覧よりも明らかに⽴体感、空間把握に⻑けている事は確認できている。ただ、視差があって、理にかなった空間への没⼊感があったとしてもそれは視覚情報の延⻑線である。昨今のVRゴーグルの中にはAR技術をベースとし、ゴーグル外部に取り付けられた複数のCCDカメラによって外界を捉え、その映像に合成したCGを表⽰させるというスタンスも存在する。しかし、タンジブルVRの場合は、現実の机や椅⼦、コップなどを体感として味わいながら、VR内では、別の表⾯や質感にすることも可能だ。体に触れる箇所以外は完全なフィクションとして、形を変えるなどCG特有の創作性、⾮現実感を加えること等にも可能性は広がってゆく。外の世界と隔絶させずに、繋がりながらバーチャルなリアリティを最⼤限活かすこ とができると感じている。このシステムの⼀つの着地点として、これまで以上の臨場感と現実感を伴ったオンラインミーティングルームを構築させたいと考えている。先⾏研究で得られた⼈体に対するスキャン技術を使い、ミーティングに参加するメンバーを全⾝スキャン。部屋も、開発する空間撮影装置を⽤いフォトグラメトリで⽴体化。それらを組み合わせて、遠隔地同⼠のメンバーが、オンライン上で、同⼀の机の周りに座り、椅⼦に座って、議論したり、共同で作品を制作したりするなど、コミュニケーションの核として機能させる。実際の肌感覚、体感を伴う空間を遠隔他者と分かち合うことで、コミュニケーションのありようまで変える可能性が本研究にはあると感じている。これらは、ソフト開発や⼯学的なアプローチではない。美術分野で培った⼼⾝のリアクションに対する実智を⽣かし、体験者 に対し⾝体的・精神的な新規のプラットフォームを提供したい。
科学研究費助成事業データベースで、「フォトグラメトリ」と検索したところ７７件であった。（2023年８⽉９⽇現在）あらゆる分野で３次元情報の活⽤が進んでいる中、研究件数としては⾮常に⼿薄だと感じた。しかも、それらはフォトグラメトリ技術を⽤いた研究であって、フォトグラメトリ技術⾃体に⽬を向けた研究は、わずか２件であった。また、昨今、VR関連は研究課題としては⾮常に活性化している。しかし、芸術分野からのアプローチというのは特異性がある。描く、作る、こねる、触る、叩く、などの原初的な⾝体の動きと結びつけ、それらをコミュニケーションの⽅法として他者と共同で⾏うなど、⾝体感覚を特に意識できるプログラムを創造してゆく。こういった組み合わせの研究は⾮常に新規性の⾼い研究だと認識している。今回、研究協⼒者として⾹港メトロポリタン⼤学のLI xiaoqiao准教授を迎え⾹港とも繋いで研究を⾏う。使⽤感だけでなく海外のAR,VR,XRの動向に詳しい⽒の助⾔をいただく事は国際的な視座に⽴つ事ができると考えている。また、名古屋在住のVRアーティスト設楽陸⽒にも研究協⼒者として参加していただく。学術的な⾯だけでなく、⻑年、VRと実物作品との間を⾏き来して絵画制作と発表されていている⽒の意⾒をフィードバックさせる事は、恣意的な学術研究という偏りを回避し、実際の活⽤、ヘビーユーザーの意⾒を取り⼊れ社会実装へと繋げてゆきたい。本研究で何をどのように、どこまで明らかにしようとするのか。フォトグラメトリは⼈間の両眼同様に、異なる視点から得られた写真間での相似点を解析し空間上の３次元座標を得る。写真同⼠はそれぞれ約70%オーバーラップしていることが望ましい。あまりにも異なり視点では、特徴点の量が少なくなる。逆に、視点があまりに近似していると、特徴点は多く導き出されるが、⽣成される３次元情報は単視眼的で、死⾓も多く⽋損率が⾼くなる。異なる視点と写真のオーバーラップ、死⾓をなくし３次元情報⽋損率を抑えるカメラセッティング。照明機器を設置しない⾃然光での写真撮影。可搬性があり操作感の良好な撮影機器の開発。それら満たす機器、システム、ワークフローを導き出す。量産化や⾼度化ではなく、アセンブル可能な機器として情報公開し、今後のフォトグラメトリにおける空間・環境撮影の基盤研究として位置付ける。また、その３次元情報をVRゴーグル内で閲覧し、実物と、ゴーグル内のCGとをマッチング、位置合わせを⾏う。その上で、⾝体的な抵抗感（触覚、重さ、位置、体重をかける、肘をつくなど）が伴うと、CGに対するバーチャル感がどこまで払拭されるかを検証する。そのVR空間をリアルタイムに他者と共有。コミュニケーションに対して、どの様な効果を持つのか考察する。
フォトグラメトリによる３次元情報の取得は2016年から開始し、⽴体化したデータは1932点を数える。先⾏研究の成果は研究ポータルサイトで公開し、取得した３Dデータをブラウザベースで閲覧できる。（http://photogrammetry.work/ 過去1年間の閲覧数8593）本研究の成果も、そこに上乗せし、フォトグラメトリのデータベースとして公開したい。先⾏研究で導⼊した機器は試作段階で流⽤でき、空間・環境の測量もこれまで試験的に⾏ってきている。その経験があるからこそ、その不便さ、⾮合理的な側⾯が認識できた。原理的には研究の実現性を確認しているので、採択された場合、実際の機器を使って、原理を現実のものとし検証したい。VR環境に関しても、これまで試作的な試みは⾏ってきたが、VRゴーグルやPCの性能不⾜もあり、試作段階で滞っている。今後は、特化された機器、複数の機器を使って、実際に検証する段階を迎えている。本研究を再現性のある研究としてデータにまとめ、公表、共有する必要性を強く感じている。
研究代表者である吉岡の役割は、撮影機器のプロトタイプを制作し、空間・環境の写真撮影と３次元情報⽣成の相関関係を検証。研究分担者である村上⽒が、⼩型軽量のCCDカメラを使⽤した撮影装置を制作。バッテリー駆動、記憶装置内蔵で完全なモバイル装置として制作。デザイン的な検証も施す。その後、得られた３次元情報をパッケージングし、筑波と京都、名古屋、⾹港などを結んで、バーチャル空間でミーティングを⾏う。その居住性や遅延がないかなどを検討する。CG、フィッティング関係は吉岡、ネットワーク、共有空間システムの構築は村上⽒が⾏う。遠隔地同⼠であることを⽣かし、本研究のミーティング⾃体を、いかに快適に臨場感を伴って、新たなコミュニケーション空間として利⽤できるか。という視点で研究を進めてゆく。